Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
This report describes the winning solution to the Robust Vision Challenge (RVC) semantic segmentation track at ECCV 2022. Our method adopts the FAN-B-Hybrid model as the encoder and uses SegFormer as the segmentation framework. The model is trained on a composite dataset consisting of images from 9 datasets (ADE20K, Cityscapes, Mapillary Vistas, ScanNet, VIPER, WildDash 2, IDD, BDD, and COCO) with a simple dataset balancing strategy. All the original labels are projected to a 256-class unified label space, and the model is trained using a cross-entropy loss. Without significant hyperparameter tuning or any specific loss weighting, our solution ranks the first place on all the testing semantic segmentation benchmarks from multiple domains (ADE20K, Cityscapes, Mapillary Vistas, ScanNet, VIPER, and WildDash 2). The proposed method can serve as a strong baseline for the multi-domain segmentation task and benefit future works. Code will be available at https://github.com/lambert-x/RVC_Segmentation.
translated by 谷歌翻译
暴露于霉菌孢子和花粉等生物 - 大紫胶会导致不利的健康影响。需要一种便携式且具有成本效益的设备来长期监测和量化各种生物紫胶。为了满足这一需求，我们提出了一种移动性和成本效益的无标签生物透射剂传感器，该传感器拍摄了由虚拟撞击器集中的流动颗粒物的全息图像，该图像有选择地放慢速度，并引导颗粒大于6微米，以飞过大于6微米成像窗口。流动的颗粒被脉冲激光二极管照亮，在无镜头移动成像设备中的CMOS图像传感器上施放了其内联全息图。该照明包含三个短脉冲，在一个脉冲中流动粒子可以忽略不计，同一粒子的一式三份全息图记录在单个框架上，然后才退出成像视野视野，从而揭示了每个粒子的不同视角。虚拟撞击器中的颗粒通过差异检测方案进行定位，并且深层神经网络基于获得的全息图像，以无标签的方式对气溶胶类型进行了分类。我们使用不同类型的花粉（即，百慕大，榆树，橡树，松树，小麦和小麦）使用虚拟撞击器证明了这种移动生物 - 大气探测器的成功，并实现了92.91％的盲目分类精度。这种移动性和成本效益的设备重约700 g，可用于长时间对各种生物透气体的无标记感应和量化，因为它基于无弹药的虚拟撞击器，该虚拟撞击器不会捕获或固定颗粒物。
translated by 谷歌翻译
为了使腿部机器人与人类和动物的运动能力相匹配，它们不仅必须产生强大的周期性步行和跑步，而且还必须在名义运动步态和更专业的瞬态操纵之间无缝切换。尽管最近在两足机器人的控制方面取得了进步，但几乎没有集中精力产生高度动态的行为。利用强化学习制定控制腿机器人的政策的最新工作表明，在产生强大的步行行为方面取得了成功。但是，这些学识渊博的政策难以在单个网络上表达多种不同行为。受腿部机器人的常规优化控制技术的启发，这项工作应用了一个经常性的策略来执行四步，90度转弯，使用从优化的单个刚体模型轨迹生成的参考数据进行了训练。我们提出了一个新型的培训框架，该培训框架使用结尾终端奖励从预先计算的轨迹数据中学习特定行为，并证明了双皮亚机器人Cassie上的硬件成功转移。
translated by 谷歌翻译
在这项工作中，我们提出了一种方法，用于生成降低的模型参考轨迹，用于用于双皮亚机器人的高度动态操作的一般类别，用于SIM卡之间，用于SIM卡至现实的增强学习。我们的方法是利用单个刚体模型（SRBM）来优化轨迹的库库，以用作学习政策的奖励函数中的专家参考。该方法将模型的动态旋转和翻译行为转化为全阶机器人模型，并成功将其传输到真实硬件。 SRBM的简单性允许快速迭代和行为改进，而基于学习的控制器的鲁棒性则可以将高度动态的动作传输到硬件。 ％在这项工作中，我们介绍了一套可转移性约束，将SRBM动态修改为实际的两足机器人硬件，这是我们为动态步进，转动操作和跳跃创建最佳轨迹的框架。在这项工作中，我们介绍了一套可转移性约束，将SRBM动力学修改为实际的双皮亚机器人硬件，我们为各种高度动态的操作创建最佳轨迹的框架，以及我们整合参考轨迹的高速强化跑步轨迹的方法学习政策。我们验证了在两足机器人Cassie上的方法，我们成功地展示了高达3.0 m/s的高度动态接地步态。
translated by 谷歌翻译
视觉任务中变形金刚的兴起不仅可以推进网络骨干设计，而且还启动了一个全新的页面，以实现端到端的图像识别（例如，对象检测和泛型分段）。源自自然语言处理（NLP）的变压器体系结构，包括自我注意力和交叉注意力，有效地学习了序列中元素之间的远距离相互作用。但是，我们观察到，大多数现有的基于变压器的视觉模型只是从NLP中借用了这个想法，忽略了语言和图像之间的关键差异，尤其是空间扁平的像素特征的极高序列长度。随后，这阻碍了像素特征和对象查询之间的交叉注意力学习。在本文中，我们重新考虑像素和对象查询之间的关系，并建议将交叉注意学习作为一个聚类过程进行重新重新制定。受传统K-均值聚类算法的启发，我们开发了K-Means面膜Xformer（Kmax-Deeplab）进行细分任务，这不仅可以改善最先进的艺术品，而且享有简单而优雅的设计。结果，我们的Kmax-Deeplab在Coco Val设置上以58.0％的PQ实现了新的最先进的性能，而CityScapes Val设置为68.4％PQ，44.0％AP和83.5％MIOU，而无需测试时间增加或外部数据集。我们希望我们的工作能够阐明设计为视觉任务量身定制的变压器。代码和型号可在https://github.com/google-research/deeplab2上找到
translated by 谷歌翻译
我们提出了聚类蒙版变压器（CMT-DeepLab），这是一种基于变压器的框架，用于围绕聚类设计的泛型分割。它重新考虑了用于分割和检测的现有变压器架构；CMT-DeepLab认为对象查询是群集中心，该中心填充了应用于分割时将像素分组的作用。群集通过交替的过程计算，首先通过其功能亲和力将像素分配给簇，然后更新集群中心和像素功能。这些操作共同包含聚类蒙版变压器（CMT）层，该层产生了越野器的交叉注意，并且与最终的分割任务更加一致。CMT-DeepLab在可可Test-DEV集中实现了55.7％的PQ的新最先进的PQ，可显着提高先前ART的性能。
translated by 谷歌翻译
深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。
translated by 谷歌翻译
显示过次分辨率化，导致在亚组信息的各种设置下在罕见的子组上的测试精度差。为了获得更完整的图片，我们考虑子组信息未知的情况。我们调查模型规模在多种设置的经验风险最小化（ERM）下最差组泛化的影响，不同：1）架构（Reset，VGG或BERT），2）域（视觉或自然语言处理）3）模型尺寸（宽度或深度）和4）初始化（具有预先培训或随机重量）。我们的系统评价显示，模型大小的增加不会受到伤害，并且可以帮助所有设置的ERM下的最差群体测试性能。特别是，增加预先训练的模型大小一致地提高水鸟和多液体的性能。当子组标签未知时，我们建议从业者使用更大的预训练模型。
translated by 谷歌翻译
增强了现实世界情景的稳健性已经被证明非常具有挑战性。一个原因是现有的鲁棒性基准是有限的，因为它们依赖于合成数据，或者它们只是将稳健性降低为数据集之间的概括，因此忽略各个滋扰因素的影响。在这项工作中，我们介绍了罗宾，是一个基准数据集，用于诊断视觉算法对现实世界中的个人滋扰的鲁棒性。罗宾在Pascal VOC 2012和Imagenet数据集中构建了10个刚性类别，并包括对象的分布示例3D姿势，形状，纹理，背景和天气状况。 Robin是丰富的注释，以实现图像分类，对象检测和3D姿势估计的基准模型。我们为许多流行的基线提供了结果，并进行了几个有趣的观察结果：1。与其他人相比，一些滋扰因素对性能有更强烈的负面影响。此外，对oodnuisance的负面影响取决于下游视觉任务。 2.利用强大数据增强的鲁棒性的目前的方法只有在现实世界的情况下只有边际效应，有时甚至会降低表现。 3.我们在鲁棒性方面，我们不会遵守卷积和变压器架构之间的任何显着差异。我们相信我们的数据集提供了丰富的试验台，以研究视觉算法的稳健性，并有助于大大推动该领域的前瞻性研究。
translated by 谷歌翻译